<!DOCTYPE html>












  


<html class="theme-next pisces use-motion" lang="zh-Hans">
<head><meta name="generator" content="Hexo 3.8.0">
  <!-- hexo-inject:begin --><!-- hexo-inject:end --><meta charset="UTF-8">
<meta http-equiv="X-UA-Compatible" content="IE=edge">
<meta name="viewport" content="width=device-width, initial-scale=1, maximum-scale=2">
<meta name="theme-color" content="#222">


  
  
  <link rel="stylesheet" href="/xieyuanhui/lib/needsharebutton/needsharebutton.css">

















  
  
  <link rel="stylesheet" href="/xieyuanhui/lib/fancybox/source/jquery.fancybox.css">







<link rel="stylesheet" href="/xieyuanhui/lib/font-awesome/css/font-awesome.min.css?v=4.6.2">

<link rel="stylesheet" href="/xieyuanhui/css/main.css?v=7.1.0">


  <link rel="apple-touch-icon" sizes="180x180" href="/xieyuanhui/images/apple-touch-icon-next.png?v=7.1.0">


  <link rel="icon" type="image/png" sizes="32x32" href="/xieyuanhui/images/favicon-32x32-next.png?v=7.1.0">


  <link rel="icon" type="image/png" sizes="16x16" href="/xieyuanhui/images/favicon-16x16-next.png?v=7.1.0">


  <link rel="mask-icon" href="/xieyuanhui/images/logo.svg?v=7.1.0" color="#222">


  <link rel="manifest" href="/xieyuanhui/images/manifest.json">


  <meta name="msapplication-config" content="/xieyuanhui/images/browserconfig.xml">





<script id="hexo.configurations">
  var NexT = window.NexT || {};
  var CONFIG = {
    root: '/xieyuanhui/',
    scheme: 'Pisces',
    version: '7.1.0',
    sidebar: {"position":"left","display":"post","offset":12,"onmobile":false,"dimmer":false},
    back2top: true,
    back2top_sidebar: false,
    fancybox: true,
    fastclick: false,
    lazyload: false,
    tabs: true,
    motion: {"enable":true,"async":false,"transition":{"post_block":"fadeIn","post_header":"slideDownIn","post_body":"slideDownIn","coll_header":"slideLeftIn","sidebar":"slideUpIn"}},
    algolia: {
      applicationID: '',
      apiKey: '',
      indexName: '',
      hits: {"per_page":10},
      labels: {"input_placeholder":"Search for Posts","hits_empty":"We didn't find any results for the search: ${query}","hits_stats":"${hits} results found in ${time} ms"}
    }
  };
</script>


  




  <meta name="description" content="论文下载地址：What You Get Is What You See: A Visual Markup Decompiler Yuntian DengHarvard Universitydengyuntian@gmail.com Anssi KanervistoUniversity of Eastern Finlandanssk@student.uef.fi Alexander M. RushH">
<meta name="keywords" content="OCR,论文,翻译">
<meta property="og:type" content="article">
<meta property="og:title" content="你得到的是你所看到的：一个视觉标记反编译器">
<meta property="og:url" content="http://xyh5513.gitee.io/xieyuanhui/2019/04/22/你得到的是你所看到的：一个视觉标记反编译器/index.html">
<meta property="og:site_name" content="xieyuanhui的笔记">
<meta property="og:description" content="论文下载地址：What You Get Is What You See: A Visual Markup Decompiler Yuntian DengHarvard Universitydengyuntian@gmail.com Anssi KanervistoUniversity of Eastern Finlandanssk@student.uef.fi Alexander M. RushH">
<meta property="og:locale" content="zh-Hans">
<meta property="og:image" content="http://xyh5513.gitee.io/xieyuanhui/2019/04/22/你得到的是你所看到的：一个视觉标记反编译器/fig1.PNG">
<meta property="og:image" content="http://xyh5513.gitee.io/xieyuanhui/2019/04/22/你得到的是你所看到的：一个视觉标记反编译器/pic2.png">
<meta property="og:image" content="http://xyh5513.gitee.io/xieyuanhui/2019/04/22/你得到的是你所看到的：一个视觉标记反编译器/pic3.PNG">
<meta property="og:image" content="http://xyh5513.gitee.io/xieyuanhui/2019/04/22/你得到的是你所看到的：一个视觉标记反编译器/tab1.PNG">
<meta property="og:image" content="http://xyh5513.gitee.io/xieyuanhui/2019/04/22/你得到的是你所看到的：一个视觉标记反编译器/tab2.PNG">
<meta property="og:image" content="http://xyh5513.gitee.io/xieyuanhui/2019/04/22/你得到的是你所看到的：一个视觉标记反编译器/tab4.PNG">
<meta property="og:image" content="http://xyh5513.gitee.io/xieyuanhui/2019/04/22/你得到的是你所看到的：一个视觉标记反编译器/tab5.PNG">
<meta property="og:image" content="http://xyh5513.gitee.io/xieyuanhui/2019/04/22/你得到的是你所看到的：一个视觉标记反编译器/tab6.PNG">
<meta property="og:image" content="http://xyh5513.gitee.io/xieyuanhui/2019/04/22/你得到的是你所看到的：一个视觉标记反编译器/fig5.PNG">
<meta property="og:updated_time" content="2019-05-05T14:31:07.113Z">
<meta name="twitter:card" content="summary">
<meta name="twitter:title" content="你得到的是你所看到的：一个视觉标记反编译器">
<meta name="twitter:description" content="论文下载地址：What You Get Is What You See: A Visual Markup Decompiler Yuntian DengHarvard Universitydengyuntian@gmail.com Anssi KanervistoUniversity of Eastern Finlandanssk@student.uef.fi Alexander M. RushH">
<meta name="twitter:image" content="http://xyh5513.gitee.io/xieyuanhui/2019/04/22/你得到的是你所看到的：一个视觉标记反编译器/fig1.PNG">



  <link rel="alternate" href="/xieyuanhui/atom.xml" title="xieyuanhui的笔记" type="application/atom+xml">



  
  
  <link rel="canonical" href="http://xyh5513.gitee.io/xieyuanhui/2019/04/22/你得到的是你所看到的：一个视觉标记反编译器/">



<script id="page.configurations">
  CONFIG.page = {
    sidebar: "",
  };
</script>

  <title>你得到的是你所看到的：一个视觉标记反编译器 | xieyuanhui的笔记</title>
  












  <noscript>
  <style>
  .use-motion .motion-element,
  .use-motion .brand,
  .use-motion .menu-item,
  .sidebar-inner,
  .use-motion .post-block,
  .use-motion .pagination,
  .use-motion .comments,
  .use-motion .post-header,
  .use-motion .post-body,
  .use-motion .collection-title { opacity: initial; }

  .use-motion .logo,
  .use-motion .site-title,
  .use-motion .site-subtitle {
    opacity: initial;
    top: initial;
  }

  .use-motion .logo-line-before i { left: initial; }
  .use-motion .logo-line-after i { right: initial; }
  </style>
</noscript><!-- hexo-inject:begin --><!-- hexo-inject:end -->

</head>

<body itemscope itemtype="http://schema.org/WebPage" lang="zh-Hans">

  
  
    
  

  <!-- hexo-inject:begin --><!-- hexo-inject:end --><div class="container sidebar-position-left page-post-detail">
    <div class="headband"></div>

    <header id="header" class="header" itemscope itemtype="http://schema.org/WPHeader">
      <div class="header-inner"><div class="site-brand-wrapper">
  <div class="site-meta">
    

    <div class="custom-logo-site-title">
      <a href="/xieyuanhui/" class="brand" rel="start">
        <span class="logo-line-before"><i></i></span>
        <span class="site-title">xieyuanhui的笔记</span>
        <span class="logo-line-after"><i></i></span>
      </a>
    </div>
    
    
  </div>

  <div class="site-nav-toggle">
    <button aria-label="切换导航栏">
      <span class="btn-bar"></span>
      <span class="btn-bar"></span>
      <span class="btn-bar"></span>
    </button>
  </div>
</div>



<nav class="site-nav">
  
    <ul id="menu" class="menu">
      
        
        
        
          
          <li class="menu-item menu-item-home">

    
    
    
      
    

    

    <a href="/xieyuanhui/" rel="section"><i class="menu-item-icon fa fa-fw fa-home"></i> <br>首页</a>

  </li>
        
        
        
          
          <li class="menu-item menu-item-about">

    
    
    
      
    

    

    <a href="/xieyuanhui/about/" rel="section"><i class="menu-item-icon fa fa-fw fa-user"></i> <br>关于</a>

  </li>
        
        
        
          
          <li class="menu-item menu-item-tags">

    
    
    
      
    

    

    <a href="/xieyuanhui/tags/" rel="section"><i class="menu-item-icon fa fa-fw fa-tags"></i> <br>标签</a>

  </li>
        
        
        
          
          <li class="menu-item menu-item-categories">

    
    
    
      
    

    

    <a href="/xieyuanhui/categories/" rel="section"><i class="menu-item-icon fa fa-fw fa-th"></i> <br>分类</a>

  </li>
        
        
        
          
          <li class="menu-item menu-item-archives">

    
    
    
      
    

    

    <a href="/xieyuanhui/archives/" rel="section"><i class="menu-item-icon fa fa-fw fa-archive"></i> <br>归档</a>

  </li>

      
      
        <li class="menu-item menu-item-search">
          
            <a href="javascript:;" class="popup-trigger">
          
            
              <i class="menu-item-icon fa fa-search fa-fw"></i> <br>搜索</a>
        </li>
      
    </ul>
  

  

  
    <div class="site-search">
      
  <div class="popup search-popup local-search-popup">
  <div class="local-search-header clearfix">
    <span class="search-icon">
      <i class="fa fa-search"></i>
    </span>
    <span class="popup-btn-close">
      <i class="fa fa-times-circle"></i>
    </span>
    <div class="local-search-input-wrapper">
      <input autocomplete="off" placeholder="搜索..." spellcheck="false" type="text" id="local-search-input">
    </div>
  </div>
  <div id="local-search-result"></div>
</div>



    </div>
  
</nav>



  



</div>
    </header>

    


    <main id="main" class="main">
      <div class="main-inner">
        <div class="content-wrap">
          
            

          
          <div id="content" class="content">
            

  <div id="posts" class="posts-expand">
    

  

  
  
  

  

  <article class="post post-type-normal" itemscope itemtype="http://schema.org/Article">
  
  
  
  <div class="post-block">
    <link itemprop="mainEntityOfPage" href="http://xyh5513.gitee.io/xieyuanhui/xieyuanhui/2019/04/22/你得到的是你所看到的：一个视觉标记反编译器/">

    <span hidden itemprop="author" itemscope itemtype="http://schema.org/Person">
      <meta itemprop="name" content="xieyuanhui">
      <meta itemprop="description" content>
      <meta itemprop="image" content="/xieyuanhui/images/deer.png">
    </span>

    <span hidden itemprop="publisher" itemscope itemtype="http://schema.org/Organization">
      <meta itemprop="name" content="xieyuanhui的笔记">
    </span>

    
      <header class="post-header">

        
        
          <h1 class="post-title" itemprop="name headline">你得到的是你所看到的：一个视觉标记反编译器

              
            
          </h1>
        

        <div class="post-meta">
          <span class="post-time">

            
            
            

            
              <span class="post-meta-item-icon">
                <i class="fa fa-calendar-o"></i>
              </span>
              
                <span class="post-meta-item-text">发表于</span>
              

              
                
              

              <time title="创建时间：2019-04-22 21:21:13" itemprop="dateCreated datePublished" datetime="2019-04-22T21:21:13+08:00">2019-04-22</time>
            

            
              

              
                
                <span class="post-meta-divider">|</span>
                

                <span class="post-meta-item-icon">
                  <i class="fa fa-calendar-check-o"></i>
                </span>
                
                  <span class="post-meta-item-text">更新于</span>
                
                <time title="修改时间：2019-05-05 22:31:07" itemprop="dateModified" datetime="2019-05-05T22:31:07+08:00">2019-05-05</time>
              
            
          </span>

          
            <span class="post-category">
            
              <span class="post-meta-divider">|</span>
            
              <span class="post-meta-item-icon">
                <i class="fa fa-folder-o"></i>
              </span>
              
                <span class="post-meta-item-text">分类于</span>
              
              
                <span itemprop="about" itemscope itemtype="http://schema.org/Thing"><a href="/xieyuanhui/categories/论文学习/" itemprop="url" rel="index"><span itemprop="name">论文学习</span></a></span>

                
                
              
            </span>
          

          
            
            
          

          
          
            <span id="/xieyuanhui/2019/04/22/你得到的是你所看到的：一个视觉标记反编译器/" class="leancloud_visitors" data-flag-title="你得到的是你所看到的：一个视觉标记反编译器">
              <span class="post-meta-divider">|</span>
              <span class="post-meta-item-icon">
                <i class="fa fa-eye"></i>
              </span>
              
                <span class="post-meta-item-text">阅读次数：</span>
              
                <span class="leancloud-visitors-count"></span>
            </span>
          

          

          
            <div class="post-symbolscount">
              

              
                <span class="post-meta-item-icon">
                  <i class="fa fa-file-word-o"></i>
                </span>
                
                  <span class="post-meta-item-text">本文字数：</span>
                
                <span title="本文字数">15k</span>
              

              
                <span class="post-meta-divider">|</span>
              

              
                <span class="post-meta-item-icon">
                  <i class="fa fa-clock-o"></i>
                </span>
                
                  <span class="post-meta-item-text">阅读时长 &asymp;</span>
                
                <span title="阅读时长">14 分钟</span>
              
            </div>
          

          

        </div>
      </header>
    

    
    
    
    <div class="post-body" itemprop="articleBody">

      
      

      
        <p>论文下载地址：<a href="https://arxiv.org/pdf/1609.04938v1.pdf" title="What You Get Is What You See: A Visual Markup Decompiler" target="_blank" rel="noopener">What You Get Is What You See: A Visual Markup Decompiler</a></p>
<p>Yuntian Deng<br>Harvard University<br>dengyuntian@gmail.com</p>
<p>Anssi Kanervisto<br>University of Eastern Finland<br>anssk@student.uef.fi</p>
<p>Alexander M. Rush<br>Harvard University<br>srush@seas.harvard.edu</p>
<h3 id="摘要"><a href="#摘要" class="headerlink" title="摘要"></a>摘要</h3><p>&emsp;&emsp;基于图像字幕生成和光学字符识别（OCR）的最新进展，我们提出了一种通用的，基于深度学习的系统，将图像反编译为表示标记。虽然这项任务在OCR中是一个经过学习得很好的问题，但我们的方法采用了本质上不同的数据驱动方法。我们的模型不需要任何基础标记语言的知识，只需对现实世界的示例数据进行端到端的培训。该模型采用卷积网络进行文本和布局识别，并与基于注意力的神经机器翻译系统相结合。为了训练和评估模型，我们引入了一个新的数据集，其中包含与LaTeX标记配对的真实世界渲染数学表达式，以及与HTML片段配对的网页合成数据集。实验结果表明，该系统在为两个数据集生成准确的标记方面令人惊讶地有效。虽然标准的特定领域的LaTeX OCR系统可以达到约25％的准确度，但我们的模型可以在75％的示例中再现精确的渲染图像。</p>
<h3 id="介绍"><a href="#介绍" class="headerlink" title="介绍"></a>介绍</h3><p>&emsp;&emsp;光学字符识别（OCR）最常用于识别图像中的自然语言;然而，早在（Anderson 1967）的工作中，就有研究兴趣将图像转换为结构化语言或标记，定义文本本身及其表示语义。这项工作的主要焦点是数学表达式的OCR，以及如何处理表达方面，如除和上标符号，特殊符号和嵌套分数（Belaid和Haton 1984; Chan和Yeung 2000）。最有效的系统将专业字符分割与基础数学布局语言的语法相结合（Miller和Viola 1998）。这种方法的一个主要例子是INFTY系统，用于将打印的数学表达式转换为LaTeX和其他标记格式（Suzuki等人，2003）。<br>&emsp;&emsp;像OCR这样需要联合处理图像和文本数据的问题最近由于这两个领域中深度神经模型的改进而引起了越来越多的研究兴趣。例如，在这些领域取得了进展，手写识别（Ciresan et al.2010），自然场景中的OCR（Jaderberg等人2015; 2016; Wang等人2012）和图像标题生成（Karpathy和Fei-Fei 2015; Vinyals等人2015b）。在高级别，这些系统中的每一个都学习输入图像的抽象编码表示，然后对其进行解码以生成文本输出。除了在标准任务上表现良好之外，这些模型完全是数据驱动的，这使得它们可以适应各种数据集，而无需大量预处理输入或特定领域的工程。<br>&emsp;&emsp;转向数据驱动的图像和文本神经方法使我们重新审视生成结构化标记的问题。我们考虑监督模型是否可以学习从图像中生成正确的表示标记，而不需要底层标记语言的文本或视觉语法。虽然语言建模的结果表明神经模型可以始终如一地生成语法正确的标记（Karpathy，Johnson和Li 2015; Vinyals等2015a），但尚不清楚是否可以从标记图像对中学习完整的解决方案。<br>&emsp;&emsp;我们的模型，WYGIWYS [你得到的是你所看到的]，是基于注意力的编码器 - 解码器模型（Bahdanau，Cho和Bengio 2014）的简单扩展，现在是机器翻译的标准。与图像字幕中的工作类似（Xu et al.2015），该模型在图像上采用了基于注意力的递归神经网络解码器的多层卷积网络。为了使该模型适应OCR问题并捕获文档的时间布局，我们还在应用注意之前应用了多行重复模型形式的新源编码器层。注意力的使用另外提供了从生成的标记到原始源图像的对齐（参见图1）。<br><img src="/xieyuanhui/2019/04/22/你得到的是你所看到的：一个视觉标记反编译器/fig1.PNG" alt></p>
<p>图1：生成数学标记的模型示例。该模型基于输入图像x一次生成一个LaTeX符号y。在CNN V和RNN编码器$\widetilde{V}$之后，灰线突出显示H 0×V 0网格特征。虚线表示每个字的α的质心（仅显示非结构字）。红色单元格表示最后一个令牌的相对注意力。请参阅<a href="http://lstm.seas.harvard.edu/latex/" target="_blank" rel="noopener">http://lstm.seas.harvard.edu/latex/</a> ，以获取测试集上此可视化的完整交互式版本。</p>
<p>&emsp;&emsp;我们还为image-tomarkup任务引入了两个新的数据集。初步实验使用呈现为网页的小型合成几何HTML示例的数据集。对于主要实验，我们引入了一个新的数据集IM2LATEX-100K，它包含从已发表文章中收集的大量渲染的现实世界数学表达式1。我们将公开发布此数据集作为此工作的一部分。训练相同的模型体系结构以生成HTML和LaTeX标记，目标呈现为精确的源图像。实验将模型的输出与几个研究和商业基线以及模型的消融进行比较。用于生成数学表达式的完整系统能够在图像编辑距离的15％内匹配图像，并且在超过75％的真实世界测试示例中是相同的。另外，使用多行编码器可以显着提高性能。所有数据，模型和评估脚本均可在 <a href="http://lstm.seas.harvard.edu/latex/" target="_blank" rel="noopener">http://lstm.seas.harvard.edu/latex/</a> 上公开获取。</p>
<h3 id="问题：图像到标记的生成"><a href="#问题：图像到标记的生成" class="headerlink" title="问题：图像到标记的生成"></a>问题：图像到标记的生成</h3><p>&emsp;&emsp;我们将图像到标记问题定义为将渲染的源图像转换为目标标记，该标记完全描述其内容和布局。源$x \in \chi$由具有高度H和宽度W的图像组成，例如，$R^{H \times \mathrm{W}}$用于灰度输入。目标$y \in Y$由一系列令牌$y_{1}, y_{2}, \cdots, y_{c}$组成，其中C是输出的长度，并且每个y是具有词汇Σ的标记语言中的标记。渲染由一个可能未知的，多对一的编译函数定义，编译：Y→X。实际上，这个功能可能非常复杂，例如浏览器，或者说不明确，例如，LaTeX语言。<br>&emsp;&emsp;监督的任务是学习使用其行为的监督示例来近似反转编译函数。我们假设我们给出了实例$\left(\mathbf{x}^{(1)}, \mathbf{y}^{(1)}\right), \ldots,\left(\mathbf{x}^{(J)}, \mathbf{y}^{(J)}\right)$，可能有不同的维度H，W，C和编译（y）≈x，适用于所有训练对（x，y）（假设可能的噪声）。</p>
<h3 id="模型"><a href="#模型" class="headerlink" title="模型"></a>模型</h3><p>&emsp;&emsp;我们的WYGIWYS模型结合了视觉和自然语言处理的几个标准神经元件。它首先使用卷积神经网络（CNN）提取图像特征，并将特征排列在网格中。然后使用递归神经网络（RNN）对每行进行编码。然后，这些编码的特征由具有视觉注意机制的RNN解码器使用。解码器在词汇表Σ上实现条件语言模型，并且训练整个模型以最大化观察到的标记的可能性。完整的结构如图2所示。我们更详细地描述了模型。<br><img src="/xieyuanhui/2019/04/22/你得到的是你所看到的：一个视觉标记反编译器/pic2.png" alt></p>
<p>图2：WYGIWYS的网络结构。给定输入图像，应用CNN来提取视觉特征，然后对于最终特征图中的每一行，我们使用RNN编码器。然后，编码特征由具有视觉注意机制的RNN解码器使用以产生最终输出。为清楚起见，我们仅示出第一行的RNN编码和时间步骤t的解码。</p>
<h4 id="卷积网络"><a href="#卷积网络" class="headerlink" title="卷积网络"></a>卷积网络</h4><p>&emsp;&emsp;利用与最大池层交织的多层卷积神经网络提取图像的视觉特征。这种网络架构现在是标准的;我们在Shi等人使用的网络之后专门建模。（2015）OCR来自图像（规范见表2）。与最近的一些OCR工作（Jaderberg等人2015; Lee和Osindero 2016）不同，我们不使用最终的完全连接层（Ioffe和Szegedy 2015），因为我们想要保留CNN功能的位置以便使用视觉注意力。CNN采用原始输入$\mathbb{R}^{H \times W}$并产生大小为$D \times H^{\prime} \times W^{\prime}$的特征网格V，其中c表示信道数，$ H^{\prime}$和$W^{\prime}$是来自合并的缩小大小。</p>
<h4 id="行编码器"><a href="#行编码器" class="headerlink" title="行编码器"></a>行编码器</h4><p>&emsp;&emsp;在基于注意力的图像字幕中（Xu等人2015），图像特征网格可以直接馈入解码器。对于OCR，馈入解码器的视觉特征包含重要的相对顺序信息。因此，我们尝试使用额外的RNN编码器模块来重新编码网格的每一行。直觉上，我们希望这有两个方面的帮助：（1）许多标记语言默认为从左到右的顺序，编码器可以很容易地学习，（2）RNN可以利用周围的水平上下文来细化隐藏的表示。<br>&emsp;&emsp;形式上，递归神经网络（RNN）是参数化函数RNN，其将输入向量和隐藏状态递归地映射到新的隐藏状态。在时间t，以下列方式用输入vt更新隐藏状态：$\mathbf{h}_{t}=\mathbf{R} \mathbf{N} \mathbf{N}\left(\mathbf{h}_{t-1}, \mathbf{v}_{t} ; \theta\right)$并且$h_{0}$是初始状态。在实践中，有许多不同的RNN变体;然而，长期短期记忆网络（LSTMs）（Hochreiter和Schmidhuber 1997）已被证明对大多数NLP任务非常有效。为简单起见，我们将模型描述为RNN，但所有实验都使用LSTM网络。<br>&emsp;&emsp;在该模型中，通过在该输入的每一行上运行RNN，从V创建新的特征网格$\tilde{V}$。递归所有行$h \in\left\{1, \ldots, H^{\prime}\right\}$和列$w \in\left\{1, \ldots, W^{\prime}\right\}$，新特征定义为$\tilde{V}_{h,w} = \mathbf{R} \mathbf{N} \mathbf{N}\left(\tilde{\mathbf{V}}_{h, w-1}, \mathbf{V}_{h, w}\right)$。为了在垂直方向上捕获连续的顺序信息，我们对每一行使用可训练的初始隐藏状态$\tilde{V}_{h,0}$，我们将其命名为位置嵌入。</p>
<h4 id="解码器"><a href="#解码器" class="headerlink" title="解码器"></a>解码器</h4><p>&emsp;&emsp;然后，解码器基于注释网格$\widetilde{V}$的序列生成目标标记令牌{yt}。解码器被训练为条件语言模型，以给出给定历史和注释的下一个令牌的概率。<br>&emsp;&emsp;该语言模型在解码器RNN之上定义，<br>$p\left(y_{t+1} | y_{1}, \ldots, y_{t}, \tilde{\mathbf{V}}\right)=\operatorname{softmax}\left(\mathbf{W}^{o u t} \mathbf{o}_{t}\right)$<br>其中$W^{out}$是学习的线性变换而$o_{t} = \tanh \left(\mathbf{W}^{c}\left[\mathbf{h}_{t} ; \mathbf{c}_{t}\right]\right)$。向量$h_{t}$用于概括解码历史：$\mathbf{h}_{t}=\mathbf{R} \mathbf{N} \mathbf{N}\left(\mathbf{h}_{t-1},\left[y_{t-1} ; \mathbf{o}_{t-1}\right]\right)$。下面定义的上下文向量$c_{t}$用于从注释网格捕获上下文信息。<br>&emsp;&emsp;在每个时间步t，上下文向量$c_{t}$考虑注释网格。但是，由于大多数注释单元可能不相关，因此模型应该知道要注意哪些单元格。我们使用注意模型a（·）来模拟这种对齐（Bahdanau，Cho和Bengio 2014）：<br>$\mathbf{e}_{t}=a\left(\mathbf{h}_{t},\left\{\tilde{\mathbf{V}}_{h, w}\right\}\right)$<br>$\alpha_{t}=\operatorname{softmax}\left(\mathbf{e}_{t}\right)$<br>$\mathbf{c}_{t}=\phi\left(\left\{\tilde{\mathbf{V}}_{h, w}\right\}, \alpha_{t}\right)$<br>其中$\alpha_{t}$是基于$\mathbf{e}_{t}$计算的权重，并且权重向量$\mathbf{h}_{t}$和所有注释向量$\left\{\tilde{\mathbf{V}}_{t}\right\}$被组合以形成上下文向量$\mathbf{c}_{t}$。注意a和φ有不同的选择，我们遵循过去的经验工作并使用$e_{i t}=\beta^{T} \tanh \left(W_{h} \mathbf{h}_{i-1}+W_{v} \tilde{\mathbf{v}}_{t}\right)$和$\mathbf{c}_{i}=\sum_{t} \alpha_{i t} \mathbf{v}_{t}$（Luong，Pham和Manning 2015）。向量$\mathbf{c}_{t}$和$\mathbf{h}_{t}$连接在一起以预测令牌$y_{t}$的概率。图1显示了模型每个步骤的注意力分布$\alpha_{t}$的一个真实例子。</p>
<h4 id="训练和生成"><a href="#训练和生成" class="headerlink" title="训练和生成"></a>训练和生成</h4><p>&emsp;&emsp;完整的模型经过端到端的训练，以最大限度地提高观察到的培训数据的可能性。除了训练数据之外，模型不会提供有关标记语言或生成过程的其他信息。为了从看不见的图像生成标记，我们只是在测试时使用波束搜索而没有进一步的硬约束。</p>
<h3 id="数据"><a href="#数据" class="headerlink" title="数据"></a>数据</h3><p>&emsp;&emsp;虽然有一些数据集可用于图像到标记生成问题（Mouchere等人2012; 2013; Lin等人2012），但它们对于训练数据驱动系统来说都太小了。因此，我们为此任务引入了两个新数据集：使用HTML片段的初步网页数据集，以及LaTeX中的大型真实世界数学表达式数据集。</p>
<h4 id="网页到HTML"><a href="#网页到HTML" class="headerlink" title="网页到HTML"></a>网页到HTML</h4><p>&emsp;&emsp;我们的初步数据集是一个综合生成的“网页”集合，用于测试模型是否可以学习相对空间定位。我们生成一个由100k个唯一HTML片段和相应的渲染图像组成的数据集。使用Webkit编译图像，生成大小为100×100的图像。任务是根据渲染图像推断HTML标记。<br>&emsp;&emsp;使用简单的contextfree语法生成HTML标记。语法递归地生成div，每个div具有实线边框，随机宽度和随机浮点（左或右）。每个div可以选择性地垂直或水平递归分割。2递归的最大深度限制为2个嵌套的div层。最后，我们对元素的宽度施加了几个约束以避免重叠。图3显示了从数据集中采样的示例代码段。<br><img src="/xieyuanhui/2019/04/22/你得到的是你所看到的：一个视觉标记反编译器/pic3.PNG" alt></p>
<center>图3：一个网页图像及其相关的HTML代码段示例。</center>

<h4 id="数学公式转LaTeX"><a href="#数学公式转LaTeX" class="headerlink" title="数学公式转LaTeX"></a>数学公式转LaTeX</h4><p>&emsp;&emsp;我们的主要数据集IM 2 LATEX -100 K收集了大量用LaTeX编写的现实世界数学表达式。该数据集为学习如何重现自然发生的标记提供了更加困难的测试平台。</p>
<h5 id="文集"><a href="#文集" class="headerlink" title="文集"></a>文集</h5><p>&emsp;&emsp;IM2LATEX-100 K数据集提供103,556种不同的LaTeX数学方程式以及渲染图像。我们通过解析来自arXiv的LaTeX论文来提取公式。 LaTeX来源于2003年KDD杯（Gehrke，Ginsparg和Kleinberg 2003）的任务I和II中获得，其中包含超过60,000篇论文。<br>&emsp;&emsp;要从LaTex源中提取公式，我们将Latex源与简单的正则表达式匹配，即\ begin {equation}（。<em>？）\ end {equation}，$$（。</em>？）$$，\ [（。<em> ？）]和\（（。</em>？）\）。我们只保留其总字符数在40到1024范围内的匹配，以避免单个符号，大矩阵或文本句子。通过这些设置，我们可以提取超过800,000种不同的LaTeX配方。在剩余的公式中，大约10万个在vanilla LaTex环境中渲染。使用pdflatex 3完成渲染，排除了无法编译的公式。然后将渲染的PDF文件转换为PNG格式4。我们提供的最终数据集包含103,556个分辨率为1654×2339的图像，其中黑色方程针对透明背景，以及相应的LaTeX公式。<br>&emsp;&emsp;数据集分为训练集（83,883个方程），验证集（9,319个方程）和测试集（10,354个方程），用于标准化实验设置。 LaTeX公式的范围为38到997个字符，平均值为118，中位数为98。</p>
<h5 id="符号化"><a href="#符号化" class="headerlink" title="符号化"></a>符号化</h5><p>&emsp;&emsp;训练模型需要设置令牌集Σ。一种选择是使用纯粹基于字符的模型。虽然这种方法需要较少的假设，但基于字符的NMT模型比基于单词的模型效率更低，速度更慢，内存密集程度更高。因此，原始标记被简单地分成最小的有意义的LaTeX标记，例如，对于观察到的字符，符号，如\ sigma，修饰符，如函数，重音符号，环境，括号和其他杂项命令。</p>
<h5 id="可选：规范化"><a href="#可选：规范化" class="headerlink" title="可选：规范化"></a>可选：规范化</h5><p>&emsp;&emsp;最后我们注意到，自然发生的LaTeX包含许多产生相同输出的不同表达式。因此，我们尝试使用可选的归一化预处理步骤来消除虚假歧义（在训练之前）。为了规范化，我们编写了一个LaTeX解析器5来将标记转换为抽象语法树。然后，我们应用一组安全的规范化树变换来消除常见的虚假模糊，如表1所示。注意，这只会改变训练数据，而不会改变模型本身。<br><img src="/xieyuanhui/2019/04/22/你得到的是你所看到的：一个视觉标记反编译器/tab1.PNG" alt></p>
<p>表1：在规范化模式下应用于LaTeX抽象语法树的预处理转换。这些转换大多是安全的，尽管在某些极端情况下它们会导致输出的微小差异。</p>
<h3 id="实验设置"><a href="#实验设置" class="headerlink" title="实验设置"></a>实验设置</h3><p>&emsp;&emsp;为了测试这种方法，我们在HTML和LaTeX反编译任务上将提出的模型与其他几个经典的OCR基线，神经模型和消融进行了比较。</p>
<h4 id="基线"><a href="#基线" class="headerlink" title="基线"></a>基线</h4><p>&emsp;&emsp;目前最好的基于OCR的数学表达式识别系统是InftyReader系统，是I NFTY系统的专有商业实现（Suzuki等人，2003）。该系统结合了符号识别和结构分析阶段。此外，我们尝试了开源AbiWord OCR系统，该系统包含Tex生成模式（Wen 2002）。但是我们发现这个系统在这项任务上表现得太差，难以比较。<br>&emsp;&emsp;对于神经模型，自然比较是标准的图像字幕方法（Xu et al.2015）。由于我们的模型基于这种方法，我们通过去除编码器RNN进行比较，即用V替换~V，并增加CNN的数量，使得参数的数量大致相同。我们将此模式命名为textscCNNEnc。<br>&emsp;&emsp;我们还进行了将模型与传统LM方法进行比较的实验，包括标准NG RAM模型（使用Kneser-Ney平滑训练的5克）和LSTM-LM。这表明改进了多少改进来自改进底层标记的语言建模。最后，对于LaTeX，我们还评估了完全规范化，规范化和简单标记化，tok。</p>
<h4 id="评估"><a href="#评估" class="headerlink" title="评估"></a>评估</h4><p>&emsp;&emsp;我们的核心评估方法是检查渲染标记输出图像x与真实图像x相比的准确性。主要评估报告黄金和预测图像之间的逐列编辑距离。我们明确地对生成的列进行离散化，并比较编辑距离序列。最终得分是编辑距离操作的总数除以数据集中的最大数。此外，我们检查与原始图像的精确匹配精度以及消除空格列后的值。 6我们还包括标准的内在文本生成度量，条件语言模型困惑和BLEU得分（Papineni et al.2002）。请注意，这两个指标都对标记语言具有虚假歧义的事实很敏感，因此1的确定性困惑是不可能的。</p>
<h4 id="实施细节"><a href="#实施细节" class="headerlink" title="实施细节"></a>实施细节</h4><p>&emsp;&emsp;相同的模型和超参数用于图像到标记任务。CNN规范总结在表2中。该模型对所有RNN使用单层LSTM。我们为编码器使用双向RNN。<br><img src="/xieyuanhui/2019/04/22/你得到的是你所看到的：一个视觉标记反编译器/tab2.PNG" alt></p>
<p>表2：CNN规范。 ‘Conv’：卷积层，’Pool：max-pooling layer。 ‘c’：过滤器数量，’k’：内核大小，’s’：步幅大小，’p’：填充大小，’po’：，’bn’：具有批量标准化。尺寸按顺序（高度，宽度）。</p>
<p>&emsp;&emsp;编码器RNN的隐藏状态大小为256，解码器RNN为512，并且令牌嵌入大小为80.该模型总共具有948万个参数。我们使用minibatch随机梯度下降来学习参数。<br>&emsp;&emsp;初始学习率设置为0.1，一旦验证困惑度没有降低，我们将其减半。我们训练12个时期的模型并使用验证困惑来选择最佳模型。在测试阶段，我们使用光束搜索，光束大小为5。<br>&emsp;&emsp;该系统使用基于Seq2seq-attn NMT系统7的Torch（Collobert，Kavukcuoglu和Farabet 2011）构建。实验在12GB NVidia Titan X GPU上运行。</p>
<h5 id="HTML"><a href="#HTML" class="headerlink" title="HTML"></a>HTML</h5><p>&emsp;&emsp;所有图像都以100×100颜色输入开始，然后进行下采样，得到尺寸为64×64的灰度图像。然后我们将像素标准化为范围[-1,1]。在培训期间，我们仅使用少于100个输出令牌的培训实例来加速培训过程。批量大小设置为100.培训过程需要4个小时。</p>
<h5 id="LaTeX"><a href="#LaTeX" class="headerlink" title="LaTeX"></a>LaTeX</h5><p>&emsp;&emsp;原始图像仅裁剪为公式区域，并在顶部，左侧，右侧和底部填充8个像素。为了提高效率，我们将所有图像下采样到原始尺寸的一半。为了便于批处理，我们将图像分组为相似的大小，并用空格填充。在训练和验证期间（但包括在测试中）忽略所有较大尺寸的图像，具有超过150个令牌的LaTeX公式，或者我们的解析器无法解析的图像。由于GPU内存的大小限制，训练批量大小设置为20。培训过程大约需要20个小时。</p>
<h3 id="结果"><a href="#结果" class="headerlink" title="结果"></a>结果</h3><p>&emsp;&emsp;表4中显示了HTML数据集的初始实验。该模型能够达到1.06的困惑度，并且精确匹配准确度超过97.5％。这些结果表明该模型能够学习基于空间线索识别和生成正确的输出。大部分遗留的困惑是由于底层标记语言的模糊性。典型的错误如表4所示。字体大小和匹配div的相对大小的问题很少。<br><img src="/xieyuanhui/2019/04/22/你得到的是你所看到的：一个视觉标记反编译器/tab4.PNG" alt></p>
<center>表4：Web页面到HTML的结果。报告训练困惑，测试困惑以及测试集上的精确匹配分数。</center>

<p>&emsp;&emsp;数学表达式的主要实验结果在表3中给出。这些结果比较了反编译渲染LaTeX任务的几个不同系统。经典的I NFTY系统在文本准确性方面能够做得很好，但在更严格的图像指标上表现不佳。我们对Imageto-Caption工作CNNE NC的重新实现做得更好，将这个数字推高到50％以上。我们的全系统RNN编码器将此值提高到75％以上，在此任务上实现了非常高的精度。我们期望LaTeX标准化器能够大大提高性能，但只能提供几点精度增益，尽管实现了高标准化BLEU。这表明尽管现实世界的LaTeX存在模糊，但解码器LM能够很好地学习。<br>&emsp;&emsp;为了更好地理解模型各部分的贡献，我们进行了消除不同方面的消融实验，如表5所示。最简单的模型是LaTeX上的标准NG RAM LM，困惑度大约为8.简单地切换到LSTM -LM将值减小到5，可能是因为它能够计算括号和嵌套级别。使用CNN添加图像数据进一步将困惑降低至1.18。添加编码器LSTM会将小增益添加到1.12，但实际上会在最终精度上产生很大差异。添加位置嵌入（每行可训练的初始状态）会增加微小的增益。<br><img src="/xieyuanhui/2019/04/22/你得到的是你所看到的：一个视觉标记反编译器/tab5.PNG" alt></p>
<center>表5：图像到LaTeX消融实验。使用不同的编码器比较简单的LM方法和完整模型的版本。</center>

<p>&emsp;&emsp;表6中显示了模型的主要非间距误差。这些结果显示了最常见的表现影响替换模型。大多数错误再次来自字体问题，例如使用小括号而不是大括号或使用标准数学字体而不是转义或使用数学CAL。图5显示了常见错误的几个示例。通常，表达式的大多数结构都会被保留，但会出现一个或两个符号识别错误。<br><img src="/xieyuanhui/2019/04/22/你得到的是你所看到的：一个视觉标记反编译器/tab6.PNG" alt></p>
<center>表6：LaTeX规范验证数据集中最常见的影响表示的错误。</center>

<p><img src="/xieyuanhui/2019/04/22/你得到的是你所看到的：一个视觉标记反编译器/fig5.PNG" alt></p>
<p>图5：LaTeX数据集中的典型错误。我们展示了从渲染的预测中获得基本事实所需的操作。红色表示添加操作，蓝色表示删除操作。</p>
<h3 id="结论和未来展望"><a href="#结论和未来展望" class="headerlink" title="结论和未来展望"></a>结论和未来展望</h3><p>&emsp;&emsp;我们提出了一个基于视觉注意的模型，W YGI WYS，用于表示标记的OCR。该模型充当标记的“可视反编译器”，例如HTML和LaTeX。我们还引入了一个新的数据集IM 2 LATEX -100 K，它为Image-to-Markup生成的这项任务提供了一个测试平台。这些贡献提供了结构化文本OCR任务的新视图，并且即使不了解底层语言，显示数据驱动模型也可以令人惊讶地有效。<br>&emsp;&emsp;这项工作可能的未来方向包括：扩展系统以在完整网站上运行或用于文档反编译，使用类似方法处理手写数学表达式或来自非正式草图的HTML，或将这些方法与神经推理机器（如MemNNs）（Weston，Chopra，和Bordes 2014）更复杂的标记或参考变量。</p>
<h3 id="参考文献"><a href="#参考文献" class="headerlink" title="参考文献"></a>参考文献</h3><p>Anderson, R. H. 1967. Syntax-directed recognition of handprinted two-dimensional mathematics. In Symposium on Interactive Systems for Experimental Applied Mathematics: Proceedings of the Association for Computing Machinery Inc. Symposium, 436–459. ACM.<br>Bahdanau, D.; Cho, K.; and Bengio, Y. 2014. Neural machine translation by jointly learning to align and translate.<br>arXiv preprint arXiv:1409.0473.<br>Belaid, A., and Haton, J.-P. 1984. A syntactic approach for handwritten mathematical formula recognition. IEEE Transactions on Pattern Analysis and Machine Intelligence (1):105–111.<br>Chan, K., and Yeung, D. 2000. Mathematical expression recognition: a survey. IJDAR 3(1):3–15.<br>Ciresan, D. C.; Meier, U.; Gambardella, L. M.; and Schmidhuber, J. 2010. Deep, big, simple neural nets for handwritten digit recognition. Neural computation 22(12):3207–3220.<br>Collobert, R.; Kavukcuoglu, K.; and Farabet, C. 2011.<br>Torch7: A matlab-like environment for machine learning. In BigLearn, NIPS Workshop, number EPFL-CONF-192376.<br>Gehrke, J.; Ginsparg, P.; and Kleinberg, J. 2003. Overview of the 2003 kdd cup. ACM SIGKDD Explorations Newsletter 5(2):149–151.<br>Hochreiter, S., and Schmidhuber, J. 1997. Long short-term memory. Neural computation 9(8):1735–1780.<br>Ioffe, S., and Szegedy, C. 2015. Batch normalization: Accelerating deep network training by reducing internal covariate shift. In Proceedings of The 32nd International Conference on Machine Learning, 448–456.<br>Jaderberg, M.; Simonyan, K.; Vedaldi, A.; and Zisserman, A. 2015. Deep structured output learning for unconstrained text recognition. ICLR.<br>Jaderberg, M.; Simonyan, K.; Vedaldi, A.; and Zisserman, A. 2016. Reading text in the wild with convolutional neural networks. International Journal of Computer Vision 116(1):1–20.<br>Karpathy, A., and Fei-Fei, L. 2015. Deep visual-semantic alignments for generating image descriptions. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 3128–3137.<br>Karpathy, A.; Johnson, J.; and Li, F.-F. 2015. Visualizing and understanding recurrent networks. arXiv preprint arXiv:1506.02078.<br>Lee, C.-Y., and Osindero, S. 2016. Recursive recurrent nets with attention modeling for ocr in the wild. arXiv preprint arXiv:1603.03101.<br>Lin, X.; Gao, L.; Tang, Z.; Lin, X.; and Hu, X. 2012. Performance evaluation of mathematical formula identification.<br>In Document Analysis Systems (DAS), 2012 10th IAPR International Workshop on, 287–291. IEEE.<br>Luong, M.-T.; Pham, H.; and Manning, C. D. 2015. Effective approaches to attention-based neural machine translation. EMNLP.<br>Miller, E. G., and Viola, P. A. 1998. Ambiguity and constraint in mathematical expression recognition. In AAAI/IAAI, 784–791.<br>Mouchere, H.; Viard-Gaudin, C.; Kim, D. H.; Kim, J. H.; and Garain, U. 2012. Icfhr 2012 competition on recognition of on-line mathematical expressions (crohme 2012). In Frontiers in Handwriting Recognition (ICFHR), 2012 International Conference on, 811–816. IEEE.<br>Mouchere, H.; Viard-Gaudin, C.; Zanibbi, R.; Garain, U.; Kim, D. H.; and Kim, J. H. 2013. Icdar 2013 crohme: Third international competition on recognition of online handwritten mathematical expressions. In 2013 12th International Conference on Document Analysis and Recognition, 1428– 1432. IEEE.<br>Papineni, K.; Roukos, S.; Ward, T.; and Zhu, W.-J. 2002.<br>Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th annual meeting on association for computational linguistics, 311–318. Association for Computational Linguistics.<br>Shi, B.; Bai, X.; and Yao, C. 2015. An end-to-end trainable neural network for image-based sequence recognition and its application to scene text recognition. arXiv preprint arXiv:1507.05717.<br>Suzuki, M.; Tamari, F.; Fukuda, R.; Uchida, S.; and Kanahori, T. 2003. Infty: an integrated ocr system for mathematical documents. In Proceedings of the 2003 ACM symposium on Document engineering, 95–104. ACM.<br>Vinyals, O.; Kaiser, Ł.; Koo, T.; Petrov, S.; Sutskever, I.; and Hinton, G. 2015a. Grammar as a foreign language. In Advances in Neural Information Processing Systems, 2755– 2763.<br>Vinyals, O.; Toshev, A.; Bengio, S.; and Erhan, D. 2015b.<br>Show and tell: A neural image caption generator. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 3156–3164.<br>Wang, T.; Wu, D. J.; Coates, A.; and Ng, A. Y. 2012. End-toend text recognition with convolutional neural networks. In Pattern Recognition (ICPR), 2012 21st International Conference on, 3304–3308. IEEE.<br>Wen, H. 2002. Abiword: Open source’s answer to microsoft word. Linux Dev Center, downloaded from <a href="http://www" target="_blank" rel="noopener">http://www</a>. linuxdevcenter. com/lpt/a/1636 1–3.<br>Weston, J.; Chopra, S.; and Bordes, A. 2014. Memory networks. arXiv preprint arXiv:1410.3916.<br>Xu, K.; Ba, J.; Kiros, R.; Cho, K.; Courville, A.; Salakhudinov, R.; Zemel, R.; and Bengio, Y. 2015. Show, attend and tell: Neural image caption generation with visual attention. In Proceedings of The 32nd International Conference on Machine Learning, 2048–2057.</p>

      
    </div>

    

    
    
    

    
        
<div class="my_post_copyright">
  <script src="//cdn.bootcss.com/clipboard.js/1.5.10/clipboard.min.js"></script>
  
  <!-- JS库 sweetalert 可修改路径 -->
  <script type="text/javascript" src="http://jslibs.wuxubj.cn/sweetalert_mini/jquery-1.7.1.min.js"></script>
  <script src="http://jslibs.wuxubj.cn/sweetalert_mini/sweetalert.min.js"></script>
  <link rel="stylesheet" type="text/css" href="http://jslibs.wuxubj.cn/sweetalert_mini/sweetalert.mini.css">
 
  <p><span>本文标题:</span>你得到的是你所看到的：一个视觉标记反编译器</p>
  <p><span>文章作者:</span>xieyuanhui</p>
  <p><span>发布时间:</span>2019年04月22日 - 21:21:13</p>
  <p><span>最后更新:</span>2019年05月05日 - 22:31:07</p>
  <p><span>原始链接:</span><a href="/xieyuanhui/2019/04/22/你得到的是你所看到的：一个视觉标记反编译器/" title="你得到的是你所看到的：一个视觉标记反编译器">http://xyh5513.gitee.io/xieyuanhui/2019/04/22/你得到的是你所看到的：一个视觉标记反编译器/</a>
    <span class="copy-path" title="点击复制文章链接"><i class="fa fa-clipboard" data-clipboard-text="http://xyh5513.gitee.io/xieyuanhui/2019/04/22/你得到的是你所看到的：一个视觉标记反编译器/" aria-label="复制成功！"></i></span>
  </p>
  <p><span>许可协议:</span><i class="fa fa-creative-commons"></i> <a rel="license" href="https://creativecommons.org/licenses/by-nc-nd/4.0/" target="_blank" title="Attribution-NonCommercial-NoDerivatives 4.0 International (CC BY-NC-ND 4.0)">CC BY-NC-SA 4.0</a> 转载请保留原文链接及作者。</p>  
</div>
<script> 
    var clipboard = new Clipboard('.fa-clipboard');
    clipboard.on('success', $(function(){
      $(".fa-clipboard").click(function(){
        swal({   
          title: "",   
          text: '复制成功',   
          html: false,
          timer: 500,   
          showConfirmButton: false
        });
      });
    }));  
</script>

    

    

    
      
    
    
      <div>
        <div id="reward-container">
  <div>您的支持将鼓励我继续创作</div>
  <button id="reward-button" disable="enable" onclick="var qr = document.getElementById(&quot;qr&quot;); qr.style.display = (qr.style.display === 'none') ? 'block' : 'none';">
    打赏
  </button>
  <div id="qr" style="display: none;">

    
      
      
        
      
      <div style="display: inline-block">
        <img src="/xieyuanhui/images/wechatpay.png" alt="xieyuanhui 微信支付">
        <p>微信支付</p>
      </div>
    
      
      
        
      
      <div style="display: inline-block">
        <img src="/xieyuanhui/images/alipay.jpg" alt="xieyuanhui 支付宝">
        <p>支付宝</p>
      </div>
    

  </div>
</div>

      </div>
    

    

    <footer class="post-footer">
      
        <div class="post-tags">
          
            <a href="/xieyuanhui/tags/OCR/" rel="tag"># OCR</a>
          
            <a href="/xieyuanhui/tags/论文/" rel="tag"># 论文</a>
          
            <a href="/xieyuanhui/tags/翻译/" rel="tag"># 翻译</a>
          
        </div>
      

      
      
        <div class="post-widgets">
        

        

        
          
          <div class="social_share">
            
            
              <div id="needsharebutton-postbottom">
                <span class="btn">
                  <i class="fa fa-share-alt" aria-hidden="true"></i>
                </span>
              </div>
            
            
          </div>
        
        </div>
      
      

      
        <div class="post-nav">
          <div class="post-nav-next post-nav-item">
            
              <a href="/xieyuanhui/2019/04/21/INFTY-数学文档的集成OCR系统/" rel="next" title="INFTY-数学文档的集成OCR系统">
                <i class="fa fa-chevron-left"></i> INFTY-数学文档的集成OCR系统
              </a>
            
          </div>

          <span class="post-nav-divider"></span>

          <div class="post-nav-prev post-nav-item">
            
              <a href="/xieyuanhui/2019/04/23/什么是高并发/" rel="prev" title="【转】什么是高并发">
                【转】什么是高并发 <i class="fa fa-chevron-right"></i>
              </a>
            
          </div>
        </div>
      

      
      
    </footer>
  </div>
  
  
  
  </article>


  </div>


          </div>
          

  



        </div>
        
          
  
  <div class="sidebar-toggle">
    <div class="sidebar-toggle-line-wrap">
      <span class="sidebar-toggle-line sidebar-toggle-line-first"></span>
      <span class="sidebar-toggle-line sidebar-toggle-line-middle"></span>
      <span class="sidebar-toggle-line sidebar-toggle-line-last"></span>
    </div>
  </div>

  <aside id="sidebar" class="sidebar">
    <div class="sidebar-inner">

      

      
        <ul class="sidebar-nav motion-element">
          <li class="sidebar-nav-toc sidebar-nav-active" data-target="post-toc-wrap">
            文章目录
          </li>
          <li class="sidebar-nav-overview" data-target="site-overview-wrap">
            站点概览
          </li>
        </ul>
      

      <div class="site-overview-wrap sidebar-panel">
        <div class="site-overview">
          <div class="site-author motion-element" itemprop="author" itemscope itemtype="http://schema.org/Person">
            
              <img class="site-author-image" itemprop="image" src="/xieyuanhui/images/deer.png" alt="xieyuanhui">
            
              <p class="site-author-name" itemprop="name">xieyuanhui</p>
              <div class="site-description motion-element" itemprop="description"></div>
          </div>

          
            <nav class="site-state motion-element">
              
                <div class="site-state-item site-state-posts">
                
                  <a href="/xieyuanhui/archives/">
                
                    <span class="site-state-item-count">107</span>
                    <span class="site-state-item-name">日志</span>
                  </a>
                </div>
              

              
                
                
                <div class="site-state-item site-state-categories">
                  
                    
                      <a href="/xieyuanhui/categories/">
                    
                  
                    
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                    <span class="site-state-item-count">16</span>
                    <span class="site-state-item-name">分类</span>
                  </a>
                </div>
              

              
                
                
                <div class="site-state-item site-state-tags">
                  
                    
                      <a href="/xieyuanhui/tags/">
                    
                  
                    
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                    <span class="site-state-item-count">114</span>
                    <span class="site-state-item-name">标签</span>
                  </a>
                </div>
              
            </nav>
          

          
            <div class="feed-link motion-element">
              <a href="/xieyuanhui/atom.xml" rel="alternate">
                <i class="fa fa-rss"></i>
                RSS
              </a>
            </div>
          

          

          
            <div class="links-of-author motion-element">
              
                <span class="links-of-author-item">
                  
                  
                    
                  
                  
                    
                  
                  <a href="/xieyuanhui/yuanhxie@163.com" title="E-Mail &rarr; yuanhxie@163.com"><i class="fa fa-fw fa-envelope"></i>E-Mail</a>
                </span>
              
            </div>
          

          

          
          

          
            
          
          

        </div>
      </div>

      
      <!--noindex-->
        <div class="post-toc-wrap motion-element sidebar-panel sidebar-panel-active">
          <div class="post-toc">

            
            
            
            

            
              <div class="post-toc-content"><ol class="nav"><li class="nav-item nav-level-3"><a class="nav-link" href="#摘要"><span class="nav-text">摘要</span></a></li><li class="nav-item nav-level-3"><a class="nav-link" href="#介绍"><span class="nav-text">介绍</span></a></li><li class="nav-item nav-level-3"><a class="nav-link" href="#问题：图像到标记的生成"><span class="nav-text">问题：图像到标记的生成</span></a></li><li class="nav-item nav-level-3"><a class="nav-link" href="#模型"><span class="nav-text">模型</span></a><ol class="nav-child"><li class="nav-item nav-level-4"><a class="nav-link" href="#卷积网络"><span class="nav-text">卷积网络</span></a></li><li class="nav-item nav-level-4"><a class="nav-link" href="#行编码器"><span class="nav-text">行编码器</span></a></li><li class="nav-item nav-level-4"><a class="nav-link" href="#解码器"><span class="nav-text">解码器</span></a></li><li class="nav-item nav-level-4"><a class="nav-link" href="#训练和生成"><span class="nav-text">训练和生成</span></a></li></ol></li><li class="nav-item nav-level-3"><a class="nav-link" href="#数据"><span class="nav-text">数据</span></a><ol class="nav-child"><li class="nav-item nav-level-4"><a class="nav-link" href="#网页到HTML"><span class="nav-text">网页到HTML</span></a></li><li class="nav-item nav-level-4"><a class="nav-link" href="#数学公式转LaTeX"><span class="nav-text">数学公式转LaTeX</span></a><ol class="nav-child"><li class="nav-item nav-level-5"><a class="nav-link" href="#文集"><span class="nav-text">文集</span></a></li><li class="nav-item nav-level-5"><a class="nav-link" href="#符号化"><span class="nav-text">符号化</span></a></li><li class="nav-item nav-level-5"><a class="nav-link" href="#可选：规范化"><span class="nav-text">可选：规范化</span></a></li></ol></li></ol></li><li class="nav-item nav-level-3"><a class="nav-link" href="#实验设置"><span class="nav-text">实验设置</span></a><ol class="nav-child"><li class="nav-item nav-level-4"><a class="nav-link" href="#基线"><span class="nav-text">基线</span></a></li><li class="nav-item nav-level-4"><a class="nav-link" href="#评估"><span class="nav-text">评估</span></a></li><li class="nav-item nav-level-4"><a class="nav-link" href="#实施细节"><span class="nav-text">实施细节</span></a><ol class="nav-child"><li class="nav-item nav-level-5"><a class="nav-link" href="#HTML"><span class="nav-text">HTML</span></a></li><li class="nav-item nav-level-5"><a class="nav-link" href="#LaTeX"><span class="nav-text">LaTeX</span></a></li></ol></li></ol></li><li class="nav-item nav-level-3"><a class="nav-link" href="#结果"><span class="nav-text">结果</span></a></li><li class="nav-item nav-level-3"><a class="nav-link" href="#结论和未来展望"><span class="nav-text">结论和未来展望</span></a></li><li class="nav-item nav-level-3"><a class="nav-link" href="#参考文献"><span class="nav-text">参考文献</span></a></li></ol></div>
            

          </div>
        </div>
      <!--/noindex-->
      

      

    </div>
  </aside>
  


        
      </div>
    </main>

    <footer id="footer" class="footer">
      <div class="footer-inner">
        <div class="copyright">&copy; <span itemprop="copyrightYear">2019</span>
  <span class="with-love" id="animate">
    <i class="fa fa-user"></i>
  </span>
  <span class="author" itemprop="copyrightHolder">xieyuanhui</span>

  
    <span class="post-meta-divider">|</span>
    <span class="post-meta-item-icon">
      <i class="fa fa-area-chart"></i>
    </span>
    
      <span class="post-meta-item-text">站点总字数：</span>
    
    <span title="站点总字数">749k</span>
  

  
    <span class="post-meta-divider">|</span>
    <span class="post-meta-item-icon">
      <i class="fa fa-coffee"></i>
    </span>
    
      <span class="post-meta-item-text">站点阅读时长 &asymp;</span>
    
    <span title="站点阅读时长">11:21</span>
  
</div>


  <div class="powered-by">由 <a href="https://hexo.io" class="theme-link" rel="noopener" target="_blank">Hexo</a> 强力驱动 v3.8.0</div>



  <span class="post-meta-divider">|</span>



  <div class="theme-info">主题 – <a href="https://theme-next.org" class="theme-link" rel="noopener" target="_blank">NexT.Pisces</a> v7.1.0</div>


<div><span id="sitetime"></span>
<script language="javascript">
  function siteTime(){
    window.setTimeout("siteTime()", 1000);
    var seconds = 1000;
    var minutes = seconds * 60;
    var hours = minutes * 60;
    var days = hours * 24;
    var years = days * 365;
    var today = new Date();
    var todayYear = today.getFullYear();
    var todayMonth = today.getMonth()+1;
    var todayDate = today.getDate();
    var todayHour = today.getHours();
    var todayMinute = today.getMinutes();
    var todaySecond = today.getSeconds();
    /* Date.UTC() -- 返回date对象距世界标准时间(UTC)1970年1月1日午夜之间的毫秒数(时间戳)
    year - 作为date对象的年份，为4位年份值
    month - 0-11之间的整数，做为date对象的月份
    day - 1-31之间的整数，做为date对象的天数
    hours - 0(午夜24点)-23之间的整数，做为date对象的小时数
    minutes - 0-59之间的整数，做为date对象的分钟数
    seconds - 0-59之间的整数，做为date对象的秒数
    microseconds - 0-999之间的整数，做为date对象的毫秒数 */
    var t1 = Date.UTC(2019,04,09,15,00,00); //北京时间2018-2-13 00:00:00
    var t2 = Date.UTC(todayYear,todayMonth,todayDate,todayHour,todayMinute,todaySecond);
    var diff = t2-t1;
    var diffYears = Math.floor(diff/years);
    var diffDays = Math.floor((diff/days)-diffYears*365);
    var diffHours = Math.floor((diff-(diffYears*365+diffDays)*days)/hours);
    var diffMinutes = Math.floor((diff-(diffYears*365+diffDays)*days-diffHours*hours)/minutes);
    var diffSeconds = Math.floor((diff-(diffYears*365+diffDays)*days-diffHours*hours-diffMinutes*minutes)/seconds);
    document.getElementById("sitetime").innerHTML=" xieyuanhui的个人笔记已运行"+/*diffYears+" 年 "+*/diffDays+" 天 "+diffHours+" 小时 "+diffMinutes+" 分钟 "+diffSeconds+" 秒";
  }/*因为建站时间还没有一年，就将之注释掉了。需要的可以取消*/
  siteTime();
</script></div>



<div>

  <div class="theme-info">
    <script async src="//busuanzi.ibruce.info/busuanzi/2.3/busuanzi.pure.mini.js"></script>
    <span id="busuanzi_container_site_pv">本站总访问量<span id="busuanzi_value_site_pv"></span>次</span>
    <span class="post-meta-divider">|</span>
    <span id="busuanzi_container_site_uv">本站访客数<span id="busuanzi_value_site_uv"></span>人</span>
  </div>

</div>

        






  <div>
    <script type="text/javascript">
	    var cnzz_protocol = (("https:" == document.location.protocol) ? "https://" : "http://");
	    document.write(unescape("%3Cspan id='cnzz_stat_icon_1277235632'%3E%3C/span%3E%3Cscript 
	    src='" + cnzz_protocol + "s23.cnzz.com/z_stat.php%3Fid%3D1277235632%26show%3Dpic' 
	    type='text/javascript'%3E%3C/script%3E"));
    </script>
  </div>



        
      </div>
    </footer>

    
      <div class="back-to-top">
        <i class="fa fa-arrow-up"></i>
        
      </div>
    

    
      <div id="needsharebutton-float">
        <span class="btn">
          <i class="fa fa-share-alt" aria-hidden="true"></i>
        </span>
      </div>
    

    

    
  </div>

  

<script>
  if (Object.prototype.toString.call(window.Promise) !== '[object Function]') {
    window.Promise = null;
  }
</script>












  



  
    
    
  
  <script color="0,0,255" opacity="0.5" zindex="-1" count="99" src="/xieyuanhui/lib/canvas-nest/canvas-nest.min.js"></script>













  
  <script src="/xieyuanhui/lib/jquery/index.js?v=2.1.3"></script>

  
  <script src="/xieyuanhui/lib/velocity/velocity.min.js?v=1.2.1"></script>

  
  <script src="/xieyuanhui/lib/velocity/velocity.ui.min.js?v=1.2.1"></script>

  
  <script src="/xieyuanhui/lib/fancybox/source/jquery.fancybox.pack.js"></script>


  


  <script src="/xieyuanhui/js/utils.js?v=7.1.0"></script>

  <script src="/xieyuanhui/js/motion.js?v=7.1.0"></script>



  
  


  <script src="/xieyuanhui/js/affix.js?v=7.1.0"></script>

  <script src="/xieyuanhui/js/schemes/pisces.js?v=7.1.0"></script>



  
  <script src="/xieyuanhui/js/scrollspy.js?v=7.1.0"></script>
<script src="/xieyuanhui/js/post-details.js?v=7.1.0"></script>



  


  <script src="/xieyuanhui/js/next-boot.js?v=7.1.0"></script>


  

  

  

  


  


  
  <script>
    // Popup Window;
    var isfetched = false;
    var isXml = true;
    // Search DB path;
    var search_path = "search.xml";
    if (search_path.length === 0) {
      search_path = "search.xml";
    } else if (/json$/i.test(search_path)) {
      isXml = false;
    }
    var path = "/xieyuanhui/" + search_path;
    // monitor main search box;

    var onPopupClose = function (e) {
      $('.popup').hide();
      $('#local-search-input').val('');
      $('.search-result-list').remove();
      $('#no-result').remove();
      $(".local-search-pop-overlay").remove();
      $('body').css('overflow', '');
    }

    function proceedsearch() {
      $("body")
        .append('<div class="search-popup-overlay local-search-pop-overlay"></div>')
        .css('overflow', 'hidden');
      $('.search-popup-overlay').click(onPopupClose);
      $('.popup').toggle();
      var $localSearchInput = $('#local-search-input');
      $localSearchInput.attr("autocapitalize", "none");
      $localSearchInput.attr("autocorrect", "off");
      $localSearchInput.focus();
    }

    // search function;
    var searchFunc = function(path, search_id, content_id) {
      'use strict';

      // start loading animation
      $("body")
        .append('<div class="search-popup-overlay local-search-pop-overlay">' +
          '<div id="search-loading-icon">' +
          '<i class="fa fa-spinner fa-pulse fa-5x fa-fw"></i>' +
          '</div>' +
          '</div>')
        .css('overflow', 'hidden');
      $("#search-loading-icon").css('margin', '20% auto 0 auto').css('text-align', 'center');

      

      $.ajax({
        url: path,
        dataType: isXml ? "xml" : "json",
        async: true,
        success: function(res) {
          // get the contents from search data
          isfetched = true;
          $('.popup').detach().appendTo('.header-inner');
          var datas = isXml ? $("entry", res).map(function() {
            return {
              title: $("title", this).text(),
              content: $("content",this).text(),
              url: $("url" , this).text()
            };
          }).get() : res;
          var input = document.getElementById(search_id);
          var resultContent = document.getElementById(content_id);
          var inputEventFunction = function() {
            var searchText = input.value.trim().toLowerCase();
            var keywords = searchText.split(/[\s\-]+/);
            if (keywords.length > 1) {
              keywords.push(searchText);
            }
            var resultItems = [];
            if (searchText.length > 0) {
              // perform local searching
              datas.forEach(function(data) {
                var isMatch = false;
                var hitCount = 0;
                var searchTextCount = 0;
                var title = data.title.trim();
                var titleInLowerCase = title.toLowerCase();
                var content = data.content.trim().replace(/<[^>]+>/g,"");
                
                var contentInLowerCase = content.toLowerCase();
                var articleUrl = decodeURIComponent(data.url).replace(/\/{2,}/g, '/');
                var indexOfTitle = [];
                var indexOfContent = [];
                // only match articles with not empty titles
                if(title != '') {
                  keywords.forEach(function(keyword) {
                    function getIndexByWord(word, text, caseSensitive) {
                      var wordLen = word.length;
                      if (wordLen === 0) {
                        return [];
                      }
                      var startPosition = 0, position = [], index = [];
                      if (!caseSensitive) {
                        text = text.toLowerCase();
                        word = word.toLowerCase();
                      }
                      while ((position = text.indexOf(word, startPosition)) > -1) {
                        index.push({position: position, word: word});
                        startPosition = position + wordLen;
                      }
                      return index;
                    }

                    indexOfTitle = indexOfTitle.concat(getIndexByWord(keyword, titleInLowerCase, false));
                    indexOfContent = indexOfContent.concat(getIndexByWord(keyword, contentInLowerCase, false));
                  });
                  if (indexOfTitle.length > 0 || indexOfContent.length > 0) {
                    isMatch = true;
                    hitCount = indexOfTitle.length + indexOfContent.length;
                  }
                }

                // show search results

                if (isMatch) {
                  // sort index by position of keyword

                  [indexOfTitle, indexOfContent].forEach(function (index) {
                    index.sort(function (itemLeft, itemRight) {
                      if (itemRight.position !== itemLeft.position) {
                        return itemRight.position - itemLeft.position;
                      } else {
                        return itemLeft.word.length - itemRight.word.length;
                      }
                    });
                  });

                  // merge hits into slices

                  function mergeIntoSlice(text, start, end, index) {
                    var item = index[index.length - 1];
                    var position = item.position;
                    var word = item.word;
                    var hits = [];
                    var searchTextCountInSlice = 0;
                    while (position + word.length <= end && index.length != 0) {
                      if (word === searchText) {
                        searchTextCountInSlice++;
                      }
                      hits.push({position: position, length: word.length});
                      var wordEnd = position + word.length;

                      // move to next position of hit

                      index.pop();
                      while (index.length != 0) {
                        item = index[index.length - 1];
                        position = item.position;
                        word = item.word;
                        if (wordEnd > position) {
                          index.pop();
                        } else {
                          break;
                        }
                      }
                    }
                    searchTextCount += searchTextCountInSlice;
                    return {
                      hits: hits,
                      start: start,
                      end: end,
                      searchTextCount: searchTextCountInSlice
                    };
                  }

                  var slicesOfTitle = [];
                  if (indexOfTitle.length != 0) {
                    slicesOfTitle.push(mergeIntoSlice(title, 0, title.length, indexOfTitle));
                  }

                  var slicesOfContent = [];
                  while (indexOfContent.length != 0) {
                    var item = indexOfContent[indexOfContent.length - 1];
                    var position = item.position;
                    var word = item.word;
                    // cut out 100 characters
                    var start = position - 20;
                    var end = position + 80;
                    if(start < 0){
                      start = 0;
                    }
                    if (end < position + word.length) {
                      end = position + word.length;
                    }
                    if(end > content.length){
                      end = content.length;
                    }
                    slicesOfContent.push(mergeIntoSlice(content, start, end, indexOfContent));
                  }

                  // sort slices in content by search text's count and hits' count

                  slicesOfContent.sort(function (sliceLeft, sliceRight) {
                    if (sliceLeft.searchTextCount !== sliceRight.searchTextCount) {
                      return sliceRight.searchTextCount - sliceLeft.searchTextCount;
                    } else if (sliceLeft.hits.length !== sliceRight.hits.length) {
                      return sliceRight.hits.length - sliceLeft.hits.length;
                    } else {
                      return sliceLeft.start - sliceRight.start;
                    }
                  });

                  // select top N slices in content

                  var upperBound = parseInt('1');
                  if (upperBound >= 0) {
                    slicesOfContent = slicesOfContent.slice(0, upperBound);
                  }

                  // highlight title and content

                  function highlightKeyword(text, slice) {
                    var result = '';
                    var prevEnd = slice.start;
                    slice.hits.forEach(function (hit) {
                      result += text.substring(prevEnd, hit.position);
                      var end = hit.position + hit.length;
                      result += '<b class="search-keyword">' + text.substring(hit.position, end) + '</b>';
                      prevEnd = end;
                    });
                    result += text.substring(prevEnd, slice.end);
                    return result;
                  }

                  var resultItem = '';

                  if (slicesOfTitle.length != 0) {
                    resultItem += "<li><a href='" + articleUrl + "' class='search-result-title'>" + highlightKeyword(title, slicesOfTitle[0]) + "</a>";
                  } else {
                    resultItem += "<li><a href='" + articleUrl + "' class='search-result-title'>" + title + "</a>";
                  }

                  slicesOfContent.forEach(function (slice) {
                    resultItem += "<a href='" + articleUrl + "'>" +
                      "<p class=\"search-result\">" + highlightKeyword(content, slice) +
                      "...</p>" + "</a>";
                  });

                  resultItem += "</li>";
                  resultItems.push({
                    item: resultItem,
                    searchTextCount: searchTextCount,
                    hitCount: hitCount,
                    id: resultItems.length
                  });
                }
              })
            };
            if (keywords.length === 1 && keywords[0] === "") {
              resultContent.innerHTML = '<div id="no-result"><i class="fa fa-search fa-5x"></i></div>'
            } else if (resultItems.length === 0) {
              resultContent.innerHTML = '<div id="no-result"><i class="fa fa-frown-o fa-5x"></i></div>'
            } else {
              resultItems.sort(function (resultLeft, resultRight) {
                if (resultLeft.searchTextCount !== resultRight.searchTextCount) {
                  return resultRight.searchTextCount - resultLeft.searchTextCount;
                } else if (resultLeft.hitCount !== resultRight.hitCount) {
                  return resultRight.hitCount - resultLeft.hitCount;
                } else {
                  return resultRight.id - resultLeft.id;
                }
              });
              var searchResultList = '<ul class=\"search-result-list\">';
              resultItems.forEach(function (result) {
                searchResultList += result.item;
              })
              searchResultList += "</ul>";
              resultContent.innerHTML = searchResultList;
            }
          }

          if ('auto' === 'auto') {
            input.addEventListener('input', inputEventFunction);
          } else {
            $('.search-icon').click(inputEventFunction);
            input.addEventListener('keypress', function (event) {
              if (event.keyCode === 13) {
                inputEventFunction();
              }
            });
          }

          // remove loading animation
          $(".local-search-pop-overlay").remove();
          $('body').css('overflow', '');

          proceedsearch();
        }
      });
    }

    // handle and trigger popup window;
    $('.popup-trigger').click(function(e) {
      e.stopPropagation();
      if (isfetched === false) {
        searchFunc(path, 'local-search-input', 'local-search-result');
      } else {
        proceedsearch();
      };
    });

    $('.popup-btn-close').click(onPopupClose);
    $('.popup').click(function(e){
      e.stopPropagation();
    });
    $(document).on('keyup', function (event) {
      var shouldDismissSearchPopup = event.which === 27 &&
        $('.search-popup').is(':visible');
      if (shouldDismissSearchPopup) {
        onPopupClose();
      }
    });
  </script>





  
  
  <script>
    
    function addCount(Counter) {
      var $visitors = $('.leancloud_visitors');
      var url = $visitors.attr('id').trim();
      var title = $visitors.attr('data-flag-title').trim();

      Counter('get', '/classes/Counter', { where: JSON.stringify({ url }) })
        .done(function({ results }) {
          if (results.length > 0) {
            var counter = results[0];
            
            Counter('put', '/classes/Counter/' + counter.objectId, JSON.stringify({ time: { '__op': 'Increment', 'amount': 1 } }))
            
              .done(function() {
                var $element = $(document.getElementById(url));
                $element.find('.leancloud-visitors-count').text(counter.time + 1);
              })
            
              .fail(function ({ responseJSON }) {
                console.log('Failed to save Visitor num, with error message: ' + responseJSON.error);
              })
          } else {
            
              Counter('post', '/classes/Counter', JSON.stringify({ title: title, url: url, time: 1 }))
                .done(function() {
                  var $element = $(document.getElementById(url));
                  $element.find('.leancloud-visitors-count').text(1);
                })
                .fail(function() {
                  console.log('Failed to create');
                });
            
          }
        })
        .fail(function ({ responseJSON }) {
          console.log('LeanCloud Counter Error: ' + responseJSON.code + ' ' + responseJSON.error);
        });
    }
    

    $(function() {
      $.get('https://app-router.leancloud.cn/2/route?appId=' + 'q2BU0OM2W8i5nARddHRKQOvm-gzGzoHsz')
        .done(function({ api_server }) {
          var Counter = function(method, url, data) {
            return $.ajax({
              method: method,
              url: 'https://' + api_server + '/1.1' + url,
              headers: {
                'X-LC-Id': 'q2BU0OM2W8i5nARddHRKQOvm-gzGzoHsz',
                'X-LC-Key': 'hLTPk12Jmt8atnC9cePjTwQH',
                'Content-Type': 'application/json',
              },
              data: data
            });
          };
          
            addCount(Counter);
          
        });
    });
  </script>



  

  
  

  
  

  
    
      <script type="text/x-mathjax-config">
  

  MathJax.Hub.Config({
    tex2jax: {
      inlineMath: [ ['$', '$'], ['\\(', '\\)'] ],
      processEscapes: true,
      skipTags: ['script', 'noscript', 'style', 'textarea', 'pre', 'code']
    },
    TeX: {
      
      equationNumbers: {
        autoNumber: 'AMS'
      }
    }
  });
  MathJax.Hub.Register.StartupHook('TeX Jax Ready', function() {
    MathJax.InputJax.TeX.prefilterHooks.Add(function(data) {
      if (data.display) {
        var next = data.script.nextSibling;
        while (next && next.nodeName.toLowerCase() === '#text') { next = next.nextSibling }
        if (next && next.nodeName.toLowerCase() === 'br') { next.parentNode.removeChild(next) }
      }
    });
  });
</script>

<script type="text/x-mathjax-config">
  MathJax.Hub.Queue(function() {
    var all = MathJax.Hub.getAllJax(), i;
    for (i = 0; i < all.length; i += 1) {
      document.getElementById(all[i].inputID + '-Frame').parentNode.className += ' has-jax';
    }
  });
</script>
<script src="//cdnjs.cloudflare.com/ajax/libs/mathjax/2.7.5/MathJax.js?config=TeX-MML-AM_CHTML"></script>

    
  


  

  

  

  

  
  
  
  <script src="/xieyuanhui/lib/needsharebutton/needsharebutton.js"></script>
  <script>
    
      pbOptions = {};
      
        pbOptions.iconStyle = "box";
      
        pbOptions.boxForm = "horizontal";
      
        pbOptions.position = "bottomCenter";
      
        pbOptions.networks = "Weibo,Wechat,Douban,QQZone,Twitter,Facebook";
      
      new needShareButton('#needsharebutton-postbottom', pbOptions);
    
    
      flOptions = {};
      
        flOptions.iconStyle = "box";
      
        flOptions.boxForm = "horizontal";
      
        flOptions.position = "middleRight";
      
        flOptions.networks = "Weibo,Wechat,Douban,QQZone,Twitter,Facebook";
      
      new needShareButton('#needsharebutton-float', flOptions);
    
  </script>


  

  

  

  

  

  


  
  <script type="text/javascript" src="//cdn.bootcss.com/canvas-nest.js/1.0.0/canvas-nest.min.js"></script><!-- hexo-inject:begin --><!-- Begin: Injected MathJax -->
<script type="text/x-mathjax-config">
  MathJax.Hub.Config({"tex2jax":{"inlineMath":[["$","$"],["\\(","\\)"]],"skipTags":["script","noscript","style","textarea","pre","code"],"processEscapes":true},"TeX":{"equationNumbers":{"autoNumber":"AMS"}}});
</script>

<script type="text/x-mathjax-config">
  MathJax.Hub.Queue(function() {
    var all = MathJax.Hub.getAllJax(), i;
    for(i=0; i < all.length; i += 1) {
      all[i].SourceElement().parentNode.className += ' has-jax';
    }
  });
</script>

<script type="text/javascript" src="https://cdnjs.cloudflare.com/ajax/libs/mathjax/2.7.1/MathJax.js">
</script>
<!-- End: Injected MathJax -->
<!-- hexo-inject:end -->
  
</body>
</html>
